Cho đến nay, chưa xác định chính xác lịch sử hình thành lễ hội. Cộng đồng địa phương còn lưu truyền nhiều câu chuyện, truyền thuyết về lễ hội như sau:

• "Ở chân núi Đồ Sơn, huyện Nghi Dương, có đền thờ Thủy Thần. Tương truyền có người bán thổ đi qua, thấy hai con trâu chọi nhau dưới đền, nên hàng năm đến ngày 9 tháng 8, có tục chọi trâu để tế thần" (Theo sách Đại Nam nhất thống chí)[2]
• Lịch sử lễ hội chọi trâu gắn với huyền thoại về một cô thôn nữ xinh đẹp tên là Đế, do có thai với vua Thủy Tề, bị dân làng phạt vạ, quan lại địa phương mang cô ra biển dìm. Cô gái oan ức, hiển linh, cộng đồng địa phương lập đề thờ, tên gọi đền Bà Đế. Linh thiêng, nơi bà chết, tôm cá kéo đến tập trung, năm này qua năm khác, các vạn chài kéo đến đánh cá. Về sau, cộng đồng địa phương tổ chức Lễ hội chọi Trâu, những con trâu thắng mang ra biển cúng tế Bà Chúa.[2][4] Cũng có ý kiến cho rằng, truyền thuyết dìm chết nàng Đế ở ngoài khơi Hòn Độc là di vết của tục hiến sinh các cô gái cho Thủy Thần có từ thời kỳ nguyên thủy đến thời sơ kỳ phong kiến; về sau, khi trình độ xã hội phát triển, việc hiến sinh con vật được thay thế[2].
• Cũng ở nơi đây, cộng đồng dân cư Đồ Sơn còn lưu truyền sự tích về người hùng áo vải, Quận He Nguyễn Hữu Cầu người làng Lôi Động xã Tân An, huyện Thanh Hà, vì cuộc sống ấm no của người dân vạn chài đã phất cờ chống lại phong kiến thối nát tàn bạo thời kỳ 1741 – 1751. Tưởng nhớ công đức Người, hàng năm nhân dân Đồ Sơn mở hội chọi Trâu, múa cờ.[2] Cũng có tài liệu cho rằng: "Mỗi khi đánh trận thắng ông thường mổ trâu khao quân. Những con trâu chọi mổ bụng dứt dây lao ra, chọi nhau quyết liệt. Quân sĩ thấy thế hứng khởi reo hò vang dội. Kể từ đó, hàng năm, Nguyễn Hữu Cầu mở hội chọi trâu để cổ vũ động viên tinh thần quân sĩ"[4]
• Lễ hội chọi trâu có hai ngày trọng đại. Ngày 8 tháng 6, ngày đấu loại tuyển chọn những ông trâu tiêu biểu vào vòng chung kết ngày 9 tháng 8[1]. Đây là những ngày con nước, sóng to gió cả[1]. Hơn nữa, Đồ Sơn là quê hương của "Tiềm Thủy Ngưu"[5], một giống trâu ở ngầm đáy nước miền sông nước. Do vậy, lễ hội chọi trâu là dâng tế Thủy Thần với cầu mong ra khơi gió lộng, bình yên.[2]
• Thành tích cá Kình. Dân làng chài kể lại rằng dân chài thường bị cá kình ăn thịt nên lập đàn cầu thần linh phù hộ vào thượng tuần tháng sáu và hứa sẽ mổ trâu, mổ lợn lễ tạ. Sau đó hai tháng, vào một đêm mưa bão gió giật, sáng ra thấy xác cá kình chết, trên hầu có vết chim cắn, một loại chim thần giáng thế độ dân. Từ đó, dân làng không bị cá ăn thịt nữa. Như đã hứa, hàng năm dân làng mang trâu đến lễ thần ở đền Nghè. Khi lễ, trâu dứt đứt dây, chọi nhau quyết liệt. Mọi người cho rằng thần linh thích xem trâu chọi. Bởi vậy hàng năm, dân làng tổ chức lễ hội chọi trâu và ngày đó đã trở thành đại sự, ngày hội truyền thống của dân vạn chài.[4]
• Theo sách Lịch sử Người Hà Nội của nhà văn Hà Ân, Lễ hội chọi trâu Đồ Sơn có ít nhất từ thời nhà Trần[4].